"유해 콘텐츠 꼼짝마"…AI가 꼼꼼하게 잡아낸다

인공지능(AI)을 활용해 온라인 서비스에서 유해물을 관리하는 기업이 늘고 있다. 실시간 방송을 하는 스트리밍 서비스와 사용자 창작 콘텐츠(UGC)로 운영되는 플랫폼을 중심으로 활용도가 높아지는 추세다. 사람이 일일이 관리하기 어려운 만큼 AI의 힘을 빌려 유해 콘텐츠를 빠르게 차단한다는 목표다.

○유해물 관리 강화 나선 네이버

15일 정보기술(IT)업계에 따르면 네이버는 자사 스트리밍 플랫폼 치지직(CHZZK)에 이미지 유해성 판단 서비스 ‘클로바 그린아이’를 전면 적용할 계획이다.

지난 3일 한 스트리머가 욱일기가 그려진 의상을 입고 방송을 한 게 계기가 됐다. 스트리머의 일탈 행동이 논란이 되자 네이버는 클로바 그린아이의 활용 범위를 실시간 방송으로까지 늘리기로 했다. 현재는 다시 보기 비디오 서비스에만 제한적으로 적용 중이다.

클로바 그린아이는 네이버의 AI 기술을 활용한 이미지 유해성 판단 서비스다. 그린아이는 네이버가 2017년 출시한 24시간 실시간 음란 이미지 필터링 기술인 엑스아이가 기반이다. 네이버에 축적된 수백만 장의 이미지를 학습했다. 부적절한 이미지나 동영상이 등록되면 실시간 감지해 검색 노출을 차단한다. 네이버는 검색 외에도 카페, 블로그, 지식인 등 다양한 서비스에 엑스아이를 활용했다. 2021년 엑스아이 2.0으로 시스템을 업그레이드하며 정상, 음란, 성인, 선정 등으로 콘텐츠를 세분화해 분류했다. 네이버의 이미지 인식 선행연구 결과를 적용해 정확도를 99.5%까지 끌어올렸다.

네이버에 앞서 실시간 스트리밍 플랫폼을 운영해온 아프리카TV 역시 독자적인 실시간 음란물 필터링 기술을 보유하고 있다. 2018년 처음 선보인 태권S가 대표적이다. 아프리카가 축적한 영상 수백만 건을 기반으로 AI를 학습시켰다. 정확도는 최대 97%에 이른다는 설명이다.

해외 빅테크들도 유해물 필터링 AI 서비스를 제공 중이다. 자사 서비스에 적용하는 것은 물론 응용프로그램인터페이스(API) 형태로 만들어 다른 기업에도 제공 중이다. 아마존은 클라우드 고객에게 부적절한 콘텐츠를 감지할 수 있는 ‘AWS 레코그니션’ 서비스를 선보였다. 부적절한 콘텐츠 감지는 물론 얼굴 인식, 물체 인식 등도 가능하다. 구글 클라우드 역시 비슷한 용도로 쓸 수 있는 ‘세이프서치’를 갖고 있다.

○“AI가 완벽하진 않아요”

AI 기술이 빠르게 발전하고 있지만 완벽하게 유해 콘텐츠를 잡으려면 갈 길이 멀다는 게 업계의 공통된 평가다. 최근 논란이 된 스트리머의 일탈 행위는 실시간으로 방송하는 플랫폼 특성상 AI를 통한 필터링이 어렵다는 설명이다. 업계 관계자는 “문제 영상을 실시간으로 잡아내기 쉽지 않다”며 “실시간 스트리밍 플랫폼에서 더 중요한 것은 사후 조치”라고 말했다.

이 때문에 주요 플랫폼들은 별도 인력을 통한 실시간 모니터링을 병행하고 있다. 아프리카TV는 클린아티라는 이름의 모니터링팀을 운영한다. 네이버도 치지직에 24시간 모니터링을 도입하기로 했다. 유튜브는 2020년 코로나19로 재택근무가 늘면서 AI 모니터링을 늘렸지만 비디오를 잘못 삭제하는 사례가 증가하는 문제가 생겨났다. 결국 모니터링 인력을 다시 늘린 것으로 알려졌다.

황동진 기자 radhwang@hankyung.com